Ông nghỉ hưu năm 1973, nhưng vẫn cùng người em là giáo sư Phạm Huy Kỳ mở lớp dạy Cello và Violon tại nhà riêng, số 177 Hàng Bạc, Hà Nội. Năm 1990, một cơn tai biến nhẹ khiến cánh tay phải của ông bị liệt, làm ông không thể tiếp tục chơi đàn[1]. Dù tuổi tác cao, nhưng ông vẫn là một nguồn tư liệu sống còn sót lại về thuở sơ khai của nền âm nhạc thính phòng Việt Nam cũng như sự phát triển của nhạc thính phòng miền Bắc trước năm 1975.[6]